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@ Verfahren und System zur Personenerkennung mit modellbasierter Gesichtsfindung 

(57) Die Erfindung betrifft cin Verfahren und bin System zur I 

Gesichtsfindung in einem binarisierten Bild durch Verglei- i 

chen der Punktegruppe des binarisierten Bildes mit der | 

Punktegruppe eines Gesichtsmodells, bei;dem die Punk- I 

tegruppen des binarisierten Bildes und des Gesichtsmo- I 

dells anhand des Hausdorff-Abstandes zwischen den t 

Punkten der Punktegruppen verglichen vyerden und ein j 

Gesicht in dem binarisierten Bild erkannt wird, wenn ein : 

aus dem Hausdorff-Abstand abgeleitetes Mate einen 1 
Grenzwert unterschreitet. 
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Beschreibung 



Die Erfindung betrifft ein Verfahren und ein System zur 
Personenerkennung mit model lhasierter Gesichtsfindung. 

Es gibt Verfahren und Systeme zur biometrischen Perso- 
nenerkennung, die sich auf eine Kombination aus Gesichts- 
erkennung, Spracherkennung und Lippenbewegungserken- 
nung stiitzen. Der kntische Teil dabei ist die Gesichtsfin- 
dung. Die Erfindung betrifft ein Verfahren und ein System 
zur Lokalisierung des Gesichts einer Person in beiiebigen 
Kamerabildem innerhalb eines solchen Systems zur biome- 
trischen Personenerkennung. 

Das grundlegende Element bei der Gesichtserkennung ist 
die Gesichtsfindung, d. h. die exakte Lokalisierung des Bild- 
ausschnittes, der dern! menschlichen Gesicht entspricht. Im 
Stand der Technik vereinfachen einige Ldsungsvorschlage 
diese Problematik, indem sie einen einheidichen Hinter- 
grund.fordcrn, vor dcm dann das Gesicht gefunden werden 
kann. Auch durch Hinzunahme der Bewegtbildihformatio- 
nen kann ein Gesicht erkannt werden, wobei hier unterstellt 
wird, da8 nur der Bereich des Bildes, der sich im Laufe einer 
Bildfoige andert, das Gesicht enthalt. 

Solche.einfachen Ansatze geniigen den heutigen Anfor- 
derungen an die Gesichtsfindung und -erkennung nicht 
mehr. Die Personenerkennung wird heute bei spiels weise 
durch PC-Desktopkameras und andere mobile Kameras un- 
terstutzt, so daB die Gesichtsfindung auch dann robust funk- 
tionieren muB, wenn ein beliebiger Hintergrund oder sogar 
ein bewegtes Hintergrundbild vorliegt. 

Die erfolgreichsten der heute bekannten Ansatze auf die- 
sem Gebiet benutzen jneuronale Netze. Diese Netze werden 
mit einer groBen Anzahl von Gesichtsbeispielen trainiert, 
wobei bei deni Training als Gegenklasse eine noch groBere 
Anzahl von "Nicht-Gesichtsbildern" verwendet wird, damit 
das neuronale Netz schlieBlich zwischen Gesicht und Hin- 
tergrund unterscheiden kann. Ein Nachteil dieser Methode 
ist neben der langen Rechenzeit die starke Abhangigkeit von 
Varianzen, wie Skalierung, Rotation und Verzerrung. 

Die Erfindung hat ,daher zur Aufgabe, ein neues System 
und Verfahren zur Gesichtsfindung anzugeben, das robust 
ist und eine Gesichtsfindung in Echtzeit zu leisten verrnag. 

Zur Losung dieser Aufgabe schlagt die Erfindung ein Ver- 
fahren mit den Merkmalen von Anspruch rund ein System 
mit den Merkmalen v } on Anspruch 8 vor. 

Das erfindungsgemaBe Verfahren und System sind mo 
dellbasiert. Das heiBt, es wird ein binares Bild eines 
menschliches Gesichtes, oder eine sogenannte "Strichzeich- 
nung" in einem entsprechenden Gesamtbild gesucht. Aus ei- 
nem Originalbild wiijd also zunachst ein binarisiert.es Bild, 
z. B. mittels Kantenextraktion, erzeugt, und dieses binari- 
sierte Bild wird mit einem binaren Gesicht smodell verg li- 
chen, um das Bild des menschlichen Gesichtes in dem ent- 
sprechend binarisierten Gesamtbild zu suchen und zu fin- 
den. Es wird also nicht, wie bei den bisherigen Ansatzen des 
Standes der Technik,| der Intensitatswert der einzelnen Ka- 
merapixel verglichen oder nach Pixelveranderungen ge- 
sucht, sondern die Erfindung stiitzt sich auf eine Modell- 
struktur nach Art einer Strichzeitung, die z. B. in Form einer 
Bitabbildung vorliegen kann. 

Das Modell des Gesichtes oder die "Strichzeichnung", 
wird mit dem binarisierten Bild mit Hilfe einer modi fi zier- 
ten Version des sogi Hausdorff-Abstandes in zahlreichen 
Skalierungs-, Rotations- und Verzerrungsvarianten des Bil- 
des verglichen. Die Anwendung des Hausdorff-Abstandes 
auf die Gesichtserkennung wurdc z. B. von B. Takacs und 
H. Wechsler in "Face Recognition Using Binary Image Me- 
trics", 2nd International Conference on Automatic Face and 
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schrieben. Auf diese Veroffendichung und die dortige Erlau- 
terung des Hausdorff-Abstandes wird ausdrucklich Bezug 
genommen. 

Die genannte Veroffentlichung heschreibt die Anwen- 
5 dung des Hausdorff-Abstandes zum Zwecke der Gesichtser- 
kennung. Ausdrucklich wird darauf hinge wiesen, daB die 
Gesichtsfindung mit einem ganzlich anderen Verfahren er- 
reicht wird. Die Verwendung des Hausdorff-Abstandes zur 
Gesichtsfindung wurde im Stand der Technik nicht in Erwa- 

10 gung gezogen, u. a. weil dieser Algorithmus sehr viel Re- 
chenzeit in Anspruch nimmt. 

Dabei sollte man sich die grundsatzlichen Unterschiede in 
der Problematik der Gesichtsfindung und der Gesichtserken- 
nung ins Gedachtnis rufen: Wenn das Gesicht in einem, ins- 

15 besondere bewegten Bild einmal gefunden ist, kann dieses 
Gesichtsbild zur Erkennung bzw. Identification mit nahezu 
beiiebigen Methoden mit einer Sammlung von Gesichtem 
aus cincr Datcnbank verglichen werden. Ist Jdas fraglichc 
Gesicht in der Datenbank enthalten, sind die Trefferraten im 

20 allgem einen ublicherweise sehr hoch, bei etwa 99%. Das 
Schwierige bei der Personenerkennung ist jedoch der vor- 
ausgeschaltete Schritt, in einem beiiebigen Bild zunachst 
das Gesicht zu finden und perfekt "auszuschneiden". Was 
bei der wortsinngemaBen Gegeniiberstellung Gesichtser- 

25 kennung/Gesichtsfindung also als geringfugiger Unter- 
schied erscheinen mag, ist im Ergebnis fiir die Gesichts- und 
somit Personenerkennung entscheidend fur die Giite des Er- 
gebnisses. 

Der Bildvergleich rnithiife des Hausdorff-Abstandes ba- 
30 siert auf folgenden Grundlagen: 

Aus dem binarisierten Bild und dem Gesichtsmodell wer- 
den zwei Punktegruppen gebildet, 



A= {a L , . . ., a m ] 



35 



und 



B={bi,..., b n } 



40 der Hausdorff-Abstand ist dann definiert durch H (A, B) = 
max (h (A, B), h (B, A)), wobei 



h(A, B) = ; 



lla-b||. 



45 Das erfindungsgemaBe System und Verfahren sind un- 
empfindlich gegeniiber den haufigsten Storeinwirkungen, 
wie eine Drehung, unterschiedliche Skalierung oder Verzer- 
rung des Bildes, weil diese bei dem Vergleich der Punkte- 
gruppen leicht beriicksichtigt werden konnen: Auch ist fiir 

50 den Einsatz des erfindungsgemaBen Verfahrens kein langer 
Einlernvorgang nbtig, anders als bei den neuronalen Netzen. 
Im Gegensatz zu den Ansatzen mit neuronalen Netzen miis- 
sen auch keine "Nicht-Gesichtsbilder" vorgegeben, gelernt 
oder auf andere Weise beriicksichtigt werden. Das System 

55 erkennt ein Gesicht, wie der Mensch, aufgrund der Eigen- 
schaften des Gesichtes selbst, nicht aufgrund der Eigen- 
schaften des Hintergrundes, die somit nicht beriicksichtigt 
werden mussen. Durch eine geeignete Ausbildung des Mo- 
dells, der "Strichzeichnung", konnen gesuchte Besonderhei- 

60 ten (z. B. Brillentrager) schnell in dem Modell beriicksich- 
tigt werden. 

Das erfindungsgemaBe System und Verfahren konnen in 
der Zukunft in biometrischen Identifikationssystemen zur 
automatischen biometrischen Zugangskontrolle verwendet 
65 werden, bei denen haufig die Gesichtserkennung, Spracher- 
kennung, Lippenbewegungserkennung, Rednaabtastung, 
etc. kombiniert werden. Mit Hilfe der Erfindung ist es mog- 
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schnitt zu finden, die exakte Augenposiiion fur eine Reti- 
naabtastung zu lokalisieren, die exakte Mundposition zur 
Berechnung der Lippenbewegungen zu lokalisieren und der- 
gleichen. 

Das erfindungsgeniaBe System und Verfahren konnen je- 
doch noch sehr viel universeller eingesetzt werden,' indem 
z. B. durch Vorgabe entsprechender binarer Modelle nur 
Menschen mit bestimrnten Gesichtszugen erkannt werden, 
uin nach solchen Merkmaien wie Mimik, Rasse oder Ge- 
schlechtzu unterscheiden. Das erfindungsgeniaBe Verfahren 
und System sind nicht einmal auf die Gesichtsfindung be- 
schrankt, weil das Modell nach dem gesucht wird, auch 
eine Hand oder einen anderen oder mehrere Teile des 
menschlichen Korpers oder einer Sache umfassen konnte. 

In ihren bevorzugten Ausfuhrungsformen sieht die Erfin- 
dung fur die Gesichtsfindung die Anwendung. eines modifi- ^ 
zierten Hausdorff-Abstandes vor, um den Rec hen auf wand ' 
zu minimicrcn und so ein Ergcbnis inncrhalb cincr vcrtrct- 
baren Rechenzeit zu erhalten. Mit der derzeitigen Ausfuh- 
rungsform des modifizierten Hausdorff-Abstandes zur Ge- 
sichtsfindung kann etwa ein Gesichtsbild pro Sekunde de- 
tektiert werden. 

Zusatzlich sieht die Erfindung eine neuartige Vorauswahl 
des Bildes durch eine spezieUe Ausnutzung der Voronoi- 
oberdache vor, die auch zur Beschleunigung des Verfahrens 
beitragt. 

Das erfindungsgeniaBe System und Verfahren konnen so- 
wohl als Software als auch als Hardwaremodule realisiert ' 
werden, wobei die modifizierten ALgorithmen entweder pro- 
grammiert oder in einer eigenen Hardware realisiert und so- 
rnii wenigstens in der Hardwarelosung echtzeitfahig sind. 

Die Erfindung ist im folgenden mil weiteren Einzelheiten 
in bezug auf die Zeichnungen naher erlautert. In den Figureri 
zeigen: 

Fig. 1 ein Originalbild, das mit einer digitalen Karnera 
aufgenommen wurde; 

Fig. 2 eine binarisierte Version des Originalbildes der 
Fig. 1; 

Fig. 3 ein binares Gesichtsmodell in Form einer Strich- 
zeichnung; und 

Fig. 4 die mit Hilfe des Gesichtsmodelles der Fig. 3 in 
dem binarisierten Bild der Fig. 2 gefundene Position des 
G esi c h t s modells . 

Fig. 1 zeigt das Originalbild einer Person mit Gesicht, 
Schulterpartie und Hintergrund, das mittels Kantenextrak- 
tion in das in Fig. 2 dargestellte binarisierte Bild umgewan- 
delt wird. Hierzu werden die Kanten am Hell-Dunkel^Ober- 
gang in dem Originalbild dazu verwendet, eine Art Strich- 
zeichnung des binarisierten Bildes gemaB Fig. 2 herzustel- 
len. Gesucht. wird nach dem zweidimensionalen Gesichts- 
modell der Fig. 3 mit Hilfe des Hausdorff-Abstandes unter 
den unten naher erorterten Bedingungen. 

Der allgemeine Hausdorff-Abstand bietet ein Mittel zur 
Bestimmung der Ahnlichkeit einer Punktgruppe zu einer an- 
deren durch Untersuchung des Anteils der Punkte in der ei- 
nen Gruppe, die in der Nahe von Punkten in der anderen 
Gruppe, oder umgekehrt, liegen, Es gibt zwei Parameter, um 
zu entscheiden, ob die zwei Punktegruppen einander ahneln 
oder nicht: (i) der maximale Abstand, den die Punkte von- 
einander entfemt sein konnen und bei dem sie gleichwohl 
noch als nah beieinander liegend betrachtet werden, und (ii) 
welcher Anteil der Punkte in einer Gruppe maximal diesen 
Abstand von den Punkten in der anderen Gruppe entfernt ist. 

Die Gesichtsfindung mit Hilfe des Hausdorff-Abstands- 
maBcs untcrschcidct sich von anderen Tcchnikcn, wic der 
binaren Korrelation, weil es keine Paarung der Punkte in 
den beiden Gruppen gibt, die verglichen werden. Eine Er- 
laulerung der mathematischen Grundlagen des Hausdorff- 



Abstandes findet man im Internet unter der Adresse 
http://www.cs.cornell.edu/ ! Vision/hausdorffYhaus- 

maich.html. In diesem Dokumentlsind die Grundlagen des 
Hausdorff-Abstandes erlautert, auf die Bezug genommen 
5 wird. 

Die zweidimensionale Bildabbildung der Fig. 3 dienl also 
als ein Gesichtsmodell, das in dem binarisierten Bild der 
Fig. 2 lokalisiert werden soli, wobei geeignete zweidimen- 
sionale Transformationen und Skalierungen vorgenommen 

10 werden konnen. j 

Fig. 4 zeigt die beste Ubereinstimmung des Modells der 
Fig. 3 mit dem binarisierten Bildjder Fig. 2 und somit die 
gefundene Position des Modells in dem binaren Bild in dem 
. * Sinne, daB in Fig. 4 der groBte Anteil der binarisierten Kan- 

15 tenpunkte der Fig. 2 in der Nahe cler Bildpunkte der Fig. 3 
* liegeh. Bei Verwendung des Hausdorff-Abstandes findet 
man auch dann eine Ubereinstimmung zwischen dem Ge- 
sichtsmodell und dem binarisicrtcm Bild, wenn die cntsprc- 
chendeh binaren Punkte nicht exakt ubereinanderliegen. 

20 21iir Realisierung dieses mbdellbasierten Gesichtsfin- 
diings verfahrens werden bei einer bevorzugten Ausfuh- 
rungsform der Erfindung folgende Modifikationen des 
Hausdorff-Abstandes vorgenommen, um eine Gesichtsfin- 
dung in Echtzeit zu erreichen: j 

25 Die Erfindung verwendet einen hierarchischen Ansatz, 
bei dem zunachst das binarisierte Bild stark verkleinert 
wird, in dem verkleinerten : binarisierten Bild nach einem 
entsprechend kleinen Gesichtsmodell gesucht wird; und 
wenn eine bestimmte Region als jwahrscheinlicher Ort des 

30 gesuchten Gesichtes erkannt wird, wird diese Region und 
ihre Umgebung vergroBert, um den Suchvorgang mit einem 
entsprechend groBeren Modellgesicht fortzusetzen, us w. 

Bei dieser hierarchischen Suchweise werden unterschied- 
liche Modelle verwendet; d. h. bei dem stark verkleinerten 

35 binarisierten Bild wird z. B. ein Ivlodell (Fig. 3) mit Schul- 
tern verwendet, um die Person zuverlassig zu erkennen. Je 
groBer der MaBstab des binarisierten Bildes wird, desto fei- 
ner wird auch die Auflosung, und clesto detaillierter wird das 
Modell fur die Gesichtsfindung, so daB schlieBlich ein Mo- 

4i3 dell verwendet werden kann, das z. B. nur noch Augen, 
Nase und/oder Mund enthalt. j 

Auch die Kantenextraktion zur Herstellung des binarisier- 
ten Bildes der Fig. 2 kann an die'jeweiligen Hierarchiestu- 
fen, in denen unterschiedlich feine Auflosungen benotigt 

45 werden, angepaBt werden. Hierzu sieht die Erfindung die 
Verwendung eines adaptiven Sobel-Filters vor. 

Innerhalb der verschiedenen Hierarchiestufen konnen je- 
weils geeignete Rotationen des Bildes und/oder des Modells 
vorgenommen werden. 

50 Zusatzlich sieht die Erfindung yorzugsweise eine Vorfilte- 
rung des binarisierten Bildes (Erosion, Dilatation, etc.) vor. 

Ein wei teres wichtiges Merkrhal der Erfindung ist die 
Modification des Hausdorff-Abstandes. Bei einer besonders 
bevorzugten Ausfuhrungsform der Erfindung ist vorgese- 

55 hen, mit einem modifizierten Hausdorff-Abstand zu arbei- 
ten, bei dem nicht nur der mittlere Abstand aller minimalen 
Abstande zwischen Modell und Bild als AbstandsmaB ver- 
wendet wird, sondem bei dem der Mittelwert der ersten x% 
(0<x<!00) aller minimalen Abstande als Grundlage der Be- 

60 rechnung des Hausdorff-Mafies dient, damit groBere Abwei- 
chungen ("AusreiBer") nicht beriicksichtigt werden und das 
Ergebnis verfalschen. 
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Paten tan sprtiche 

1. Verfahren zur Gesichtsfindung in einem binarisier- 
ten Bild durch Vergteichen der Punktegruppe des bina- 
risierten Bildes mit der Punktegruppe eines Gesichts- 
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mode Us, bei demj die Punktegruppen des binarisierten 
Bildes und des Gesichtsmodells anhand des Hausdorff- 
Abstandes zwischen den Punkten der Punktegruppen 
verglichen werden und ein Gesichtin dem binarisierten 
Bild erkannl wird, wenn ein aus dem Hausdorff-Ab- 5 
stand abgclciictes MaB einen Grenzwert unterschreitet. 

2. Verfahrcn nach Anspruch 1, bei dem das binarisierte 
Bild aus dem Originaibild mittels Kantenextraktion ab- 
geleiiet wird. ' 

3. Verfahrcn nach Anspruch 1 oder 2, bei dem das bi- 10 
narisieric Bild /.unachsi in einem kJeinen MaBstab mit 
einem entsprechend kleinen Gesichtsmodeli verglichen 
wird, der Bcrcich des binarisierten Bildes, in dem ein 
Gesicht gefundenj wurdc, vergroBert und nut einem ent- 
sprechenden groBeren Gesichlsmodell erneut vergli- 15 
chen wird und das VergroBern und Vergleichen von bi- 
narisiertem Biidbereich und Gesichlsmodell ggf. wie- 
dcrholt wird. bis das Gesicht in dem binarisierten Bild 
mit ausreichender Gcnauigkcil lokalisierl wurde. 

4. Verfahren nach Anspruch 3. bei dem je nach GroBe 20 
des binarisierten [Bildes unterschicdlichc Gesichtsmo- 
delle mit unlerschiecllicher Auflosung verwendet wer- 
den. 

5. Verfahren nach Anspruch 3 oder 4, bei dem je nach 
GroBe des binarisierten Billies die Kanienexiraktion fur 25 
die Ableitung des binurisierlen Bildes aus dem Origi- 
naibild mit unterschiedlicher Auflosung erfolgi. 

6. Verfahren nach einem der Anspruche 3 bis 5, bei 
dem je nach GroBe des binarisierten Bildes unter- 
schiedliche Rotationsslufen verwendel werden. 30 

7. Verfahren nach einem der yorangehenden Anspru- 
che, bei dem das HausdorlV-MaB auf der Cirundlagedes 
Mittelwertes der ikleinsicn \% aller minimulen Haus- 
dorff-Abstande erniiliell wird. wobci ()<x<l<K). 

8. System zur Realisierung des Verfahrens nach einem 35 
der vorangehenden Anspruche mil ciner Rechenvor- 
richtung zur Berechnung des TTausdorlf-Absiandes und 
des Hausdorff-MaBes auf der Grundlage der Punkte 
des binarisierten Bildes und des Gesichlsmodells. 
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